Reward Guided Decoding for Generative Recommendation
奖励引导解码：面向生成式推荐的可控价值对齐
🧭 生成式推荐 · 奖励引导解码 ★ 深度解读
Institute of Information Engineering, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Kuaishou Technology · Peking University
提出RGD框架，将业务价值注入解码过程，解决生成推荐中似然与价值不匹配问题，无需重训模型
📌 工作参考价值（4 点）
- 解码时注入业务价值，无需重训生成器：RGD 将奖励模型作为测试时控制器，通过闭式解 log P + R/β 替换原始 beam search 的排序方式。业务目标切换或权重调整只需更换奖励头或调整温度系数 β，生成器保持不变，显著降低维护成本。
- 轻量级奖励模型设计可复用：奖励头以 Bottleneck MLP 共享生成器解码器的隐藏状态，梯度隔离训练，仅增加少量参数和推理开销。这种插件式设计可直接纳入现有生成推荐服务。
- 混合推理策略平衡效果与延迟：在首层 SID 使用 pre-merge 扩大搜索空间，后续层改用 post-merge 减少计算量，在工业场景中实现与全量 pre-merge 相近的效果，延迟增加可控，适合在线部署。
- 缓解 beam search 的早期剪枝问题：通过奖励引导，原本因低生成概率被剪枝的高价值候选项有机会存活，扩大有效搜索范围。在快手直播推荐中，CTR 引导的 RGD 在线带来 +0.392% 页面点击率、+0.689% 观看时长。